研究深度学习的鲁棒性的一个主要挑战是定义了给定神经网络（NN）不变的``毫无意义''扰动集。关于鲁棒性的大多数工作隐含地将人作为参考模型来定义这种扰动。我们的工作通过使用另一个参考NN来定义给定的NN应该不变，从而使对任何NN的依赖概述对任何NN的依赖。这使得衡量鲁棒性等同于衡量两个NN共享不稳定的程度，我们提出了一种称为搅拌的措施。搅拌重新调整现有的表示相似性措施，使其适合衡量共享的不稳定。使用我们的度量，我们能够深入了解共享的不断增长，随着重量初始化，体系结构，损失功能和培训数据集的变化如何变化。我们的实现可在：\ url {https://github.com/nvedant07/stir}中获得。
translated by 谷歌翻译
实际上，决策算法通常经过表现出各种偏见的数据培训。决策者通常旨在根据假定或期望公正的基础真相目标做出决策，即同样分布在社会显着的群体中。在许多实际设置中，无法直接观察到地面真相，相反，我们必须依靠数据中的地面真相（即偏置标签）的有偏见的代理度量。此外，通常会选择性地标记数据，即，即使是有偏见的标签，也仅对获得积极决策的数据的一小部分观察到。为了克服标签和选择偏见，最近的工作提议学习随机性，通过i）在每个时间步长的在线培训新政策，ii）执行公平性作为绩效的限制。但是，现有方法仅使用标记的数据，忽略了大量未标记的数据，因此在不同时间学到的决策策略的不稳定性和差异很大。在本文中，我们提出了一种基于实用公平决策的各种自动编码器的新方法。我们的方法学习了一个无偏的数据表示，利用标记和未标记的数据，并使用表示形式在在线过程中学习策略。使用合成数据，我们从经验上验证我们的方法根据差异较低的地面真相会收敛到最佳（公平）策略。在现实世界实验中，我们进一步表明，我们的培训方法不仅提供了更稳定的学习过程，而且还产生了比以前的方法更高的公平性和效用的政策。
translated by 谷歌翻译
招聘或大学入学等选择问题的歧视通常是由决策者对弱势人口群体的隐性偏见来解释的。在本文中，我们考虑了决策者收到每个候选品质的噪声估计的模型，其方差取决于候选人的组 - 我们认为这种差异方差是许多选择问题的关键特征。我们分析了两个值得注意的设置：首先，噪声差异对于决策者而言是未知的，他只能独立于他们的群体选择最高的估计质量;在第二个中，差异是已知的，决策者挑选了给出嘈杂估计的最高预期质量的候选者。我们表明，两者的基线决策者都会产生歧视，尽管在相反的方向：第一个导致低方差集团的代表性不足，而第二个导致高方差群体的代表性不足。我们研究了对施加公平机制的选择效用的影响，我们将获得$ \ Gamma $ -rule术语（它是古典四分之五规则的延伸，它还包括人口统计奇偶校验）。在第一个设置（具有未知的差异）中，我们证明，在温和的条件下，施加$ \ Gamma $ -rule增加了选择效用 - 在这里，公平与公用事业之间没有权衡。在第二个设置（具有已知的差异）中，施加$ \ Gamma $ -rule降低了该实用程序，但我们由于公平机制而证明了该公用事业损失的束缚。
translated by 谷歌翻译
我们争辩说，当模型学习\ texit {good}表示时，我们应该有一个有价值的视角是，应该由人类类似地观察到模型的类似表示的输入。我们使用\ textit {表示反转}来生成映射到相同模型表示的多个输入，然后通过人类调查量化这些输入的感知相似性。我们的方法产生了模型与人类感知对齐的程度的衡量标准。使用这种对准度量，我们评估了用各种学习范例（例如〜监督和自我监督学习）和不同培训损失（标准和强大培训）培训的模型。我们的研究结果表明，具有人类感知的表现的对齐提供了对模型的品质的有用的额外见解。例如，我们发现与人类感知的对齐可以用作模型对不同模型对输出冲突的输入的模型预测的信任的量度。我们还发现模型的各种属性，如其架构，培训范式，培训损失和数据增强在与人类感知一致的学习陈述中起着重要作用。
translated by 谷歌翻译
Automated data-driven decision making systems are increasingly being used to assist, or even replace humans in many settings. These systems function by learning from historical decisions, often taken by humans. In order to maximize the utility of these systems (or, classifiers), their training involves minimizing the errors (or, misclassifications) over the given historical data. However, it is quite possible that the optimally trained classifier makes decisions for people belonging to different social groups with different misclassification rates (e.g., misclassification rates for females are higher than for males), thereby placing these groups at an unfair disadvantage. To account for and avoid such unfairness, in this paper, we introduce a new notion of unfairness, disparate mistreatment, which is defined in terms of misclassification rates. We then propose intuitive measures of disparate mistreatment for decision boundary-based classifiers, which can be easily incorporated into their formulation as convex-concave constraints. Experiments on synthetic as well as real world datasets show that our methodology is effective at avoiding disparate mistreatment, often at a small cost in terms of accuracy.
translated by 谷歌翻译
Algorithmic decision making systems are ubiquitous across a wide variety of online as well as offline services. These systems rely on complex learning methods and vast amounts of data to optimize the service functionality, satisfaction of the end user and profitability. However, there is a growing concern that these automated decisions can lead, even in the absence of intent, to a lack of fairness, i.e., their outcomes can disproportionately hurt (or, benefit) particular groups of people sharing one or more sensitive attributes (e.g., race, sex). In this paper, we introduce a flexible mechanism to design fair classifiers by leveraging a novel intuitive measure of decision boundary (un)fairness. We instantiate this mechanism with two well-known classifiers, logistic regression and support vector machines, and show on real-world data that our mechanism allows for a fine-grained control on the degree of fairness, often at a small cost in terms of accuracy. A Python implementation of our mechanism is available at fate-computing.mpi-sws.org
translated by 谷歌翻译
Deep learning techniques with neural networks have been used effectively in computational fluid dynamics (CFD) to obtain solutions to nonlinear differential equations. This paper presents a physics-informed neural network (PINN) approach to solve the Blasius function. This method eliminates the process of changing the non-linear differential equation to an initial value problem. Also, it tackles the convergence issue arising in the conventional series solution. It is seen that this method produces results that are at par with the numerical and conventional methods. The solution is extended to the negative axis to show that PINNs capture the singularity of the function at $\eta=-5.69$
translated by 谷歌翻译
对于大多数自然语言处理任务，主要的实践是使用较小的下游数据集对大型预验证变压器模型（例如BERT）。尽管这种方法取得了成功，但尚不清楚这些收益在多大程度上归因于用于预处理而不是训练预处理的目标本身所采用的大量背景语料库。本文介绍了一项大规模的自我预测研究，其中相同的（下游）训练数据都用于预训练和填充。在解决Electra和Roberta型号以及10个不同下游数据集的实验中，我们观察到在BookWiki语料库上进行自我预测的竞争对手标准预告片（尽管使用了$ 10 \ times $ $ -500 \ times $ -500 \ times $少的数据），在7美元上以7美元的价格优于$ 7 $和$ 5 $数据集。令人惊讶的是，这些特定于任务的预预性模型通常在其他任务（包括胶水基准）上表现良好。我们的结果表明，在许多情况下，可归因于预处理的绩效收益主要是由预处理目标本身驱动的，并不总是归因于大规模数据集的合并。考虑到网络规模预处理数据中对知识产权和进攻内容的担忧，这些发现尤其重要。
translated by 谷歌翻译
本文介绍了频率卷积神经网络（CNN），用于快速，无创的2D剪切波速度（VS）成像的近表面地质材料。在频速度域中运行，可以在用于生成CNN输入的线性阵列，主动源实验测试配置中具有显着的灵活性，这些配置是归一化的分散图像。与波场图像不同，标准化的分散图像对实验测试配置相对不敏感，可容纳各种源类型，源偏移，接收器数量和接收器间距。我们通过将其应用于经典的近乎表面地球物理学问题，即成像两层，起伏的土壤 - 旁质界面的界面来证明频率CNN的有效性。最近，通过开发一个时间距离CNN来研究这个问题，该问题表现出了很大的希望，但在使用不同的现场测试配置方面缺乏灵活性。本文中，新的频道CNN显示出与时距CNN的可比精度，同时提供了更大的灵活性来处理各种现场应用程序。使用100,000个合成近表面模型对频率速度CNN进行了训练，验证和测试。首先，使用训练集的合成近表面模型测试了提议的频率CNN跨各种采集配置概括跨各种采集配置的能力，然后应用于在Austin的Hornsby Bend在Austin的Hornsby Bend收集的实验场数据美国德克萨斯州，美国。当针对更广泛的地质条件范围充分开发时，提出的CNN最终可以用作当前伪2D表面波成像技术的快速，端到端替代方案，或开发用于完整波形倒置的启动模型。
translated by 谷歌翻译
2021-12-06
数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。
translated by 谷歌翻译